Loading...
机构名称:
¥ 1.0

本文探讨了编码器和解码器语言模型在词语自然语言理解(NLU)任务上的性能,并广泛着重于语言语言。在扫描基准的基础上构建,最初仅限于评估编码器模型,我们将评估框架扩展到包括解码器模型。我们介绍了一种在NLU任务上进行评估解码器模型的方法,并将其应用于丹麦语,瑞典语,挪威,冰岛,法罗语,德语,德语,荷兰语和英语的语言。通过一系列的演出和分析,我们还解决了有关编码器和解码器模型的比较性能,NLU任务类型的影响以及跨语言资源的变化的问题。我们的发现表明,尽管参数的数量级较少,但编码器模型比解码器模型可以实现明显更好的NLU表现。此外,我们通过UMAP分析研究了解码器与任务性能之间的相关性,从而阐明了解码器和编码器模型的独特功能。本研究有助于更深入地了解NLU任务中的语言模型范例,并为多语言环境中的模型选择和评估提供了有价值的见解。

arxiv:2406.13469v2 [CS.CL] 2025年1月11日

arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第1页

arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第2页

arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第3页

arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第4页

arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第5页

相关文件推荐